เจ้าหญิงชาร์ลอตต์ประสูติในตำหนักของเจ้าชาย ตำหนักคาร์ลตัน ลอนดอน ในวันที่ 7 มกราคม ค.ศ. 1796 ในขณะที่เจ้าชายจอร์จไม่ทรงพอพระทัยเล็กน้อยเนื่องจากพระบุตรเป็นพระธิดาไม่ใช่พระโอรส พระมหากษัตริย์ทรงพอพระทัยในเจ้าหญิงมาก เนื่องจากเป็นการประสูติของพระราชนัดดาที่ถูกต้องตามกฎหมายองค์แรก และทรงหวังว่าการประสูติของเจ้าหญิงจะช่วยไกล่เกลี่ยความบาดหมางระหว่างเจ้าชายจอร์จและเจ้าหญิงคาโรลีนได้[10] แต่มันก็ไม่ได้เกิดขึ้น สามวันหลังจากที่เจ้าหญิงชาร์ลอตต์ประสูติ เจ้าชายจอร์จมีพระประสงค์โดยตรงคือการไม่ให้พระชายามีบทบาทในการอภิบาลพระธิดา และทรงหมกมุ่นอยู่แต่กับฟิตซ์เฮอร์เบิร์ต แม้ว่าสมาชิกพระราชวงศ์หลายพระองค์จะไม่เป็นที่นิยมชมชอบ แต่ทั้งประเทศก็เฉลิมฉลองการประสูติของเจ้าหญิงชาร์ลอตต์[11] ในวันที่ 11 กุมภาพันธ์ ค.ศ. 1796 เจ้าหญิงพระองค์น้อยได้รับการขานพระนามว่า ชาร์ลอตต์ ออกัสตา จากพระนามของพระอัยยิกาคือ สมเด็จพระราชินีชาร์ลอตต์และเจ้าหญิงออกัสตา ดัชเชสแห่งเบราน์ชไวก์-โวลเฟนบึทเทิล[12] ในห้องวาดภาพของตำหนักคาร์ลตัน โดยจอห์น มัวร์ อาร์ชบิชอปแห่งแคนเทอร์เบอรี พระบิดามารดาอุปถัมภ์ของเจ้าหญิงคือ พระมหากษัตริย์ สมเด็จพระราชินีและดัชเชสแห่งเบราน์ชไวก์ (ซึ่งเจ้าหญิงชาร์ลอตต์ พระราชกุมารี เสด็จแทนองค์ดัชเชส)[13]

แม้ว่าจะมีการปฏิบัติต่อเจ้าคาโรลีนดีขึ้นหลังจากที่พระนางทรงมีพระประสูติกาลองค์รัชทายาทลำดับที่สองในราชบัลลังก์ แต่เจ้าชายจอร์จก็ยังทรงขัดขวางไม่ให้เจ้าหญิงทรงพบกับพระธิดา ทรงปฏิเสธไม่ให้พระนางประทับอยู่กับพระธิดาเว้นเสียแต่ว่าจะมีพยาบาลและพระอภิบาลอยู่ด้วย[12] เจ้าหญิงคาโรลีนทรงได้รับอนุญาตให้ดำเนินกิจวัตรประจำวันตามแบบบิดามารดาชนชั้นสูงคือ การให้เงินแก่บุตรหลานในเวลานี้ แต่พระนางไม่ทรงได้รับอนุญาตในการตัดสินพระทัยเกี่ยวกับการอบรมดูแลเจ้าหญิงชาร์ลอตต์[14] นางกำนัลหรือผู้ดูแลพระตำหนักซึ่งเห็นใจพระนาง ไม่ทำตามพระบัญชาของเจ้าชายยจอร์จ และได้อนุญาตให้เจ้าหญิงคาโรลีนทรงประทับตามลำพังกับพระธิดา เจ้าชายจอร์จไม่ทรงทราบถึงเรื่องนี้ เนื่องจากพระองค์เสด็จเข้ามาพบพระธิดาน้อยครั้งมาก เจ้าหญิงคาโรลีนทรงมีความกล้าที่จะประทับรถม้าพระที่นั่งไปตามถนนกรุงลอนดอนพร้อมกับพระธิดา โดยทรงได้รับการปรบมือสรรเสริญจากฝูงชน[12]

เจ้าหญิงชาร์ลอตต์ทรงมีพระสุขภาพดี และเป็นไปตามที่เทีย โฮล์ม ผู้เขียนพระประวัติของพระนาง เขียนไว้ว่า "ความประทับใจอย่างหนึ่งที่ต้องบันทึกไว้เป็นเรื่องแรก ๆ ของเจ้าหญิงชาร์ลอตต์ คือ การที่ทรงมีความสุขอย่างไร้การเสแสร้ง และทรงมีพระทัยที่อ่อนโยน"[15] ขณะที่เจ้าหญิงชาร์ลอตต์ทรงเจริญพระชันษาขึ้น พระบิดาและพระมารดาของพระนางยังคงขัดแย้งกัน และทรงใช้พระธิดาองค์น้อยเป็นเครื่องมือของความขัดแย้ง ทั้งพระบิดาและพระมารดาทรงพยายามเรียกร้องให้พระมหากษัตริย์และสมเด็จพระราชินีเข้าข้างฝ่ายตน[16] ในเดือนสิงหาคม ค.ศ. 1797 เจ้าหญิงคาโรลีนทรงเสด็จออกจากตำหนักคาร์ลตัน ทรงออกไปเช่าที่พำนักของพระนางเองใกล้แบล็กฮีธ ทรงละทิ้งพระธิดาไว้เบื้องหลัง โดยกฎหมายอังกฤษในขณะนั้นได้ให้สิทธิในการดูแลเด็กเล็กแก่ฝ่ายบิดา แต่ครั้งนี้เจ้าชายก็ไม่ได้ทรงกีดกันพระชายาในการเข้าถึงพระธิดา[17] ในเดือนธันวาคม ค.ศ. 1798 เจ้าชายทรงเชิญพระชายาที่แยกกันประทับให้เสด็จมาเยือนตำหนักคาร์ลตันในช่วงฤดูหนาว ซึ่งพระนางปฏิเสธคำเชิญ ครั้งนี้เป็นครั้งสุดท้ายในการพยายามคืนดีกันอย่างจริงจัง ซึ่งความล้มเหลวนี้ก็ได้ทำให้สิทธิในราชบัลลังก์มีความเป็นไปได้น้อยลง โดยเจ้าชายจอร์จจะต้องทรงมีพระโอรสที่ถูกต้องตามกฎหมายซึ่งจะมาแทนระหว่างเจ้าหญิงชาร์ลอตต์กับราชบัลลังก์อังกฤษ[18] เจ้าหญิงคาโรลีนเสด็จมาเยี่ยมพระธิดาที่ตำหนักคาร์ลตัน และบางครั้งเจ้าหญิงชาร์ลอตต์ได้รับการหนุนได้เสด็จไปยังแบล็กฮีธเพื่อเยี่ยมพระมารดา แต่ไม่ทรงเคยได้รับอนุญาตให้ประทับที่บ้านของพระมารดา[19] ในช่วงฤดูร้อน เจ้าชายทรงเช่าบ้านพักชรูวส์บิวรีที่แบล็กฮีธให้พระธิดา ซึ่งทำให้การเดินทางมาเยี่ยมเยียนง่ายขึ้น ตามบันทึกของเอลิสัน พลาวเดน ซึ่งได้เขียนถึงความสัมพันธ์ระหว่างเจ้าชายจอร์จ พระชายาและพระธิดา ระบุว่า เจ้าหญิงคาโรลีนสามารถพบกับพระธิดาได้ตราบเท่าที่มีพระประสงค์[20]

เมื่อเจ้าหญิงชาร์ลอตต์ทรงมีพระชนมายุ 8 พรรษา พระบิดาของเจ้าหญิงได้กลับไปคบหากับ ฟิตซ์เฮอร์เบิร์ต และทรงตัดสินใจว่าทรงต้องการตำหนักคาร์ลตันให้เป็นของพระองค์เอง พระองค์ทรงยึดห้องชุดของพระชายา (เจ้าหญิงคาโรลีนทรงได้รับห้องว่างในพระราชวังเค็นซิงตันแทน) และทรงย้ายพระธิดาให้ไปประทับที่ตำหนักมองตากิว ซึ่งอยู่ติดกับตำหนักคาร์ลตัน ตามบันทึกของเจมส์ แชมเบอร์ ผู้เขียนพระประวัติของเจ้าหญิงชาร์ลอตต์อีกคนหนึ่ง ได้ระบุว่า เจ้าหญิงองค์น้อย "ประทับในตำหนักที่เป็นของพระนางเอง ซึ่งไม่มีใครเลยที่จะไม่ต้องจ่ายค่าอยู่อาศัยที่นั่น"[19] การย้ายครั้งนี้เกิดขึ้นโดยไม่ผ่านการดูแลของหัวหน้าพระอภิบาลในเจ้าหญิงชาร์ลอตต์ เลดีเอลกิน (ภริยาม่ายในชาร์ล บรูซ เอิร์ลที่ 5 แห่งเอลกิน) ซึ่งเป็นบุคคลที่เจ้าหญิงทรงใกล้ชิดที่สุด เลดี้เอลกินถูกบังคับให้เกษียณอายุ ซึ่งสังเกตได้ชัดจากอายุที่มากของเธอ แต่เหตุผลโดยส่วนใหญ่คือ เจ้าชายจอร์จทรงพิโรธ เนื่องจากเลดี้เอลกินทรงนำเจ้าหญิงชาร์ลอตต์ไปเข้าเฝ้าพระมหากษัตริย์โดยไม่ผ่านการขอพระอนุญาตจากพระองค์[21] เจ้าชายจอร์จยังทรงปลด มิสเฮย์แมน รองพระอภิบาล เนื่องจากเป็นมิตรกับเจ้าหญิงคาโรลีนมากเกินไป และเจ้าหญิงแห่งเวลส์ทรงจ้างเธอต่อทันทีที่เธอถูกปลดออก ผู้ที่มาแทนที่เลดี้เอลกิน คือ เลดี้ เดอ คลิฟฟอร์ด (ภริยาม่ายในเอ็ดเวิร์ด เซาท์เวลล์ บารอนที่ 20 เดอ คลิฟฟอร์ด) เป็นบุคคลที่เจ้าหญิงชาร์ลอตต์ทรงติดมาก และมีอัธยาศัยดีเกินไปในการอบรมสั่งสอนพระธิดา ซึ่งทำให้เจ้าหญิงทรงเจริญวัยมาในลักษณะทอมบอย เลดี้ เดอ คลิฟฟอร์ดได้นำหนึ่งในหลานชายของเธอ ซึ่งก็คือ ฮอนอเรเบิล จอห์น เคปเปล ที่มีอายุน้อยกว่าเจ้าหญิงชาร์ลอตต์ 3 ปี มาเป็นพระสหายร่วมเล่นกับพระนาง สี่สิบปีถัดมา เคปเปล ซึ่งในตอนนั้นดำรงเป็นเอิร์ลแห่งอัลเบมาร์ล ได้บันทึกความทรงจำของเขาถึงเจ้าหญิงชาร์ลอตต์เกี่ยวกับหลายเรื่องราวของเจ้าหญิงขณะยังทรงพระเยาว์ นอกเหนือจากเรื่องราวความเป็นทอมบอยของพระนางในการโปรดทรงม้ากับการชกมวย เขาจดจำได้ว่า พวกเขาได้ไปดูฝูงชนรวมตัวกันด้านหน้าบ้านเคปเปลที่เอิร์ลส์คอร์ท ซึ่งฝูงชนเหล่านี้หวังที่จะพบเห็นเจ้าหญิงองค์น้อย เขาและเจ้าหญิงได้ออกไปข้างนอกและร่วมอยู่ในฝูงชน โดยที่ไม่มีใครจำพวกเขาได้เลย[22]

ในปี ค.ศ. 1805 พระมหากษัตริย์ทรงเริ่มวางแผนการศึกษาแก่เจ้าหญิงชาร์ลอตต์ และทรงจ้างกลุ่มคณาจารย์จำนวนมากสำหรับพระนัดดาที่ถูกต้องตามกฎหมายเพียงองค์เดียวของพระองค์ โดยบิชอปแห่งเอ็กเซเตอร์ได้ให้การศึกษาเกี่ยวกับคริสตจักรแห่งอังกฤษ ซึ่งพระเจ้าจอร์จทรงเชื่อว่าในวันหนึ่งเจ้าหญิงชาร์ลอตต์จะทรงได้เป็นสมเด็จพระราชินีนาถ และเป็นผู้พิทักษ์ประจำนิกายนี้ พระมหากษัตริย์ทรงหวังว่าคณาจารย์เหล่านี้จะ "ปฏิบัติกับเจ้าหญิงอย่างให้เกียรติและมีความสัมพันธ์ที่ไม่ตึงเครียดเกินไป และอำนวยพรให้แก่อาณาจักรซึ่งพระนางอาจจะได้เป็นประมุขในอนาคต"[23] ตามบันทึกของโฮล์ม การเรียนการสอนนี้ได้ให้ความประทับใจเล็ก ๆ แก่เจ้าหญิงชาร์ลอตต์ ซึ่งเจ้าหญิงทรงเลือกที่จะศึกษาเพียงเฉพาะในสิ่งที่พระนางต้องการศึกษาจริง ๆ[23] พระอาจารย์ที่ถวายการศึกษาด้านเปียโนแก่เจ้าหญิงคือ เจน แมรี เกสต์ นักแต่งเพลง[24] และเจ้าหญิงชาร์ลอตต์ทรงเป็นผู้ทรงเปียโนได้อย่างยอดเยี่ยม[25]

พฤติกรรมที่ผิดธรรมเนียมของเจ้าหญิงคาโรลีนได้เกิดขึ้นในปี ค.ศ. 1807 โดยมีข้อกล่าวหาพระนางว่าทรงเคยมีเพศสัมพันธ์กับชายคนอื่นในช่วงที่ทรงแยกห่างจากพระสวามี เจ้าหญิงคาโรลีนทรงเลี้ยงดูเด็กหนุ่มน้อยที่ชื่อว่า วิลเลียม ออสติน ซึ่งถูกกล่าวหาเป็นบุตรของพระนางกับชายคนอื่น เจ้าชายแห่งเวลส์ทรงหวังว่า "การสืบสวนที่ละเอียดอ่อน" จะได้หลักฐานในเรื่องการผิดประเวณี ซึ่งจะทำให้พระองค์สามารถหย่าร้างได้ และทรงห้ามไม่ให้เจ้าหญิงชาร์ลอตต์พบกับพระมารดาเด็ดขาด[26] คณะผู้สืบสวนไม่ได้สอบปากคำเจ้าหญิงคาโรลีนหรือผู้ที่ถูกกล่าวหาว่าเป็นคนรักของพระนาง แต่ได้จดจ่ออยู่แต่เพียงปากคำของคนรับใช้ในเจ้าหญิงคาโรลีน เมื่อคนรับใช้ถูกถามว่าเจ้าหญิงคาโรลีนทรงพระครรภ์หรือไม่ บางคนตอบว่าใช่ บางคนตอบว่าไม่ บางคนตอบว่าไม่แน่ใจ และอื่น ๆ ซึ่งชี้ว่าพระนางทรงมีน้ำหนักมากและพระวรกายอวบอ้วนซึ่งเป็นไปไม่ได้ที่จะบอก คนรับใช้ยืนยันว่าไม่มีใครเลยที่เป็นคนรักของพระนาง แม้ว่าคนรับใช้ชายของพระนาง คือ โจเซฟ โรเบิร์ตส์ จะกล่าวว่า เจ้าหญิงทรง "รักในการร่วมเพศมาก"[27] เจ้าหญิงชาร์ลอตต์ทรงรับรู้ถึงการสืบสวน เจ้าหญิงวัย 10 พรรษาทรงรู้สึกเจ็บปวดลึก ๆ เมื่อพระมารดาและพระนางทรงทำได้แค่เพียงสบมองพระพักตร์กันในสวนสาธารณะ และเจ้าหญิงคาโรลีนทรงเชื่อฟังคำสั่งของเจ้าชายที่ไม่ให้ติดต่อหรือตรัสสิ่งใดกับเจ้าหญิงชาร์ลอตต์ โดยทรงแกล้งทำเป็นมองไม่เห็นพระธิดา[28] เจ้าชายจอร์จทรงผิดหวังอย่างมาก เมื่อคณะผู้สืบสวนไม่พบหลักฐานว่าเจ้าหญิงคาโรลีนทรงมีพระบุตรองค์ที่สองจริง แม้ว่าจะเป็นที่ระบุชัดแจ้งว่าพฤติกรรมของเจ้าหญิงได้ก่อให้เกิดความเข้าใจผิดอย่างมาก พระมหากษัตริย์ ผู้ทรงเมตตาเจ้าหญิงคาโรลีน ทรงปฏิเสธที่จะพบพระนางในช่วงที่มีการสอบสวน แต่ทรงเริ่มให้พระนางเข้าเฝ้าพระองค์ได้หลังจากนั้น[27] หลังจากสิ้นสุดการสอบสวนที่ละเอียดอ่อน เจ้าชายทรงมีพระอนุญาตอย่างไม่เต็มพระทัยนัก ทรงให้เจ้าหญิงชาร์ลอตต์พบกับพระมารดาอีกครั้ง โดยมีเงื่อนไขว่าอย่าให้ วิลเลียม ออสติน มาเป็นพระสหายของเจ้าหญิง[29]